En el notebook 05, vimos que la distribución de probabilidad $\mathbf{\mu}_t$ de una cadena de Markov tiende a acercarse (converger), cuando $t \to \infty$, a una distribución de probabilidad que podemos denotar $\mathbf{\mu}_\infty$. [Usaremos la notación $\mu$ (de "medida") para evitar que haya tantos P's.]
[1] (i) Escribe la ecuación que gobierna la evolución de $\mathbf{\mu}_t$, y de ahí obtiene una ecuación para $\mathbf{\mu}_\infty$.
(ii) ¿Cómo se relacion $\mathbf{\mu}_\infty$ con la matriz de transición $\mathsf{P}$ de la cadena?
(iii) Demuestra que si empezamos con la distribución $\mathbf{\mu}_\infty$, la distribución a cualquier tiempo será la misma.
(iv) Debido a ello, llamamos a $\mathbf{\mu}_\infty$ una distribución estacionaria de la cadena. se puede demostrar que existe y es única si la cadena satisface dos propiedades técnicas, que sea aperiódica e irreducible.
Busca y explica estas dos propiedades de una cadena de Markov.
[2] Dada una matriz de transición $\mathsf{P}$, ¿cómo podemos calcular de forma numérica la distribución estacionaria correspondiente?
[3] Reescribe la expresión de estacionariedad para un estado dado, $i$, de la cadena. Interpreta esta expresión físicamente. Esta propiedad se llama balance.
[4] ¿Qué tan rápido convergerá una cadena de Markov a distribución estacionaria?
En el resto del curso, estaremos ocupados con una pregunta distinta:
Dada una distribución de probabilidad $\pi$ sobre un conjunto $S := \{s_1, \ldots, s_k\}$, ¿cómo podríamos diseñar un proceso estocástico tal que tenga la distribución $\pi$, y así simular el sistema con la distribución requerida?
[5] ¡Responde esta pregunta!